CONSTRUÇÃO E ADAPTAÇÃO

DE INSTRUMENTOS DE AUTORRELATO

CONSTRUÇÃO & ADAPTAÇÃODEINSTRUMENTOS

Quando construir e quando adaptar?

• Adaptação só é possível quando o instrumento já existe
  • A medida se adequa ao que você precisa/deseja investigar (teórica e empiricamente)
• Construção pode ser feita quando:
  • O instrumento não existe
  • O(a) pesquisador entende que as medidas existentes são limitadas
    • Definição constitutiva e operacional pobre
    • Propriedades psicométricas ruins
    • Culturalmente pouco generalizável (Oriente vs Ocidente)
  • Quando o pesquisador quer criar uma medida para fins comerciais
  • Quando o pesquisador simplesmente deseja construir  (Borsa & Seize, 2018)

Módulos seguintes:

Construção de instrumentos

Adaptação de instrumentos

Evidências de validade de instrumentos

CONSTRUÇÃO & ADAPTAÇÃODEINSTRUMENTOS

CONSTRUÇÃO

DE INSTRUMENTOS DE AUTORRELATO

REVISÃO DA LITERATURA

Você não pode medir o que você não sabe o que é

“Inteligência é o que os testes medem” (Boring, 1923)

• “Inteligência como uma capacidade mensurável, precisa, desde o início, ser definida como a capacidade de se sair bem em um teste de inteligência. Inteligência é o que os testes medem”

REVISÃO DA LITERATURA

Revisão da literatura

• Teórica
• Focada em medidas
• Ampla revisão da literatura lhe permitirá conhecer:
  • As definições mais aceitas
  • Os elementos constitutivos mais comuns (o que não pode deixar de ser mensurado)
  • A estrutura de operacionalização dos itens (i.e., como os itens são construídos) .

REVISÃO DA LITERATURA

Definição constitutiva (Pasquali, 2010)

• O que é (ou como se define) o fenômeno Definição operacional

• Como o fenômeno se manifesta

• Depressão

• A depressão pode ser definida como XXXX. Seus sintomas são variados e podem se agrupar em diferentes categorias, tais como emocionais (e.g. AAA), cognitivos (BBB), comportamentais (CCC), físicos (DDD), etc.

• Autoeficácia

• Autoeficácia pode ser compreendida como XXXX e engloba sentimentos de YYYY. Com base na definição constitutiva e operacional, você criará os itens que irão mensurar o construto.

Revisão da Literatura

• Revisão sistemática/integrativa
• Revisão assistemática REVISÃO DALITERATURA

REVISÃO DA LITERATURA

Revisão Sistemática/Integrativa

• Investigação focada em uma questão-problema, que visa identificar, selecionar, avaliar e sintetizar as evidências relevantes disponíveis na literatura científica de uma determinada área do conhecimento

• Metodologia controlada e organizada tanto para a busca de artigos quanto para a análise e integração do conteúdo recuperado (Borsa & Seize, 2018; Zoltowski et al., 2014)

• Critérios de inclusão e exclusão de estudos

  • Espaço temporal
  • Termos (e.g., questionnaire, scale, inventory, measure*)
  • Língua dos artigos
  • Local de inserção dos termos (título, resumo, palavras-chave, corpo do texto)
  • Booleanos (AND, OR, NOT)
    • (“Quality of life” AND (“Questionnaire” OR “Scale” or “Inventory” or “Measure”)) .

REVISÃO DA LITERATURA

Revisão Sistemática

• Booleanos AND

OR

NOT

Stress Scale Stress Scale Stress Scale

Work Work Work

REVISÃO DA LITERATURA

Revisão Sistemática

• PRISMA

REVISÃO DA LITERATURA

Revisão não-sistemática

• Busca não sistematizada cujo objetivo é apenas avaliar os estudos mais salientes, mais relevantes e mais citados sobre uma determinada área
  • Mais rápido
  • Mais simples
  • Mais comum
  • Menos poderoso .

REVISÃO DA LITERATURA

Revisão da literatura

• Teórica
• Focada em medidas .

MEU CONSTRUTO É POUCO ESTUDADO

O que fazer?

• Procedimentos qualitativos de levantamento de informações
  • Entrevistas individuais, grupos focais, etc. Experts
• Pesquisadores e profissionais da área
  • Clínicos, Professores, Psicólogos organizacionais, Treinadores, Médicos, Religiosos*, etc.
• Busca por definição constitutiva e operacional (Grounded Theory) .

REVISÃO DA LITERATURA

Revisão da literatura

.

(Artigos teóricos, principalmente) | DEFINIÇÃO OPERACIONAL (Artigos de validação de medidas) | | — | — | | Perspectiva 1 (Autor A) | Escala 1 (Autor F) | | Perspectiva 2 (Autor B) | Escala 2 (Autor G) | | Perspectiva 3 (Autor C) | Escala 3 (Autor H) | | Perspectiva 4 (Autor D) | Escala 4 (Autor I) | | Perspectiva 5 (Autor E) | Escala 5 (Autor J) |

REVISÃO DA LITERATURA

Definição constitutiva e operacionalização de itens

A depressão pode ser definida como XXXX. Seus sintomas são variados e podem se agrupar em diferentes categorias, tais como emocionais (e.g. AAA), cognitivos (BBB), comportamentais (CCC), físicos (DDD), etc.

Depressão DASS-21

Por favor, na hora de responder, considere as últimas quatro semanas.

ELABORAÇÃO DE ITENS

DE INSTRUMENTOS DE AUTORRELATO

ELABORAÇÃO DE ITENS

.

Exemplo de uma escala de Burnout

• Primeiro passo na criação de uma medida é ter uma definição constitutiva e operacional clara Definição** ****Constitutiva**

Despersonalização

Despersonalização é a faceta interpessoal do Burnout. Caracteriza-se por atitudes de distanciamento e indiferença frente aos colegas de trabalho ou às pessoas as quais o profissional precisa lidar/atender. É manifesta por meio de comportamentos negativos, insensíveis e cínicos como, por exemplo comentários rudes e grosseiros dirigidos a colegas de trabalho, falta de paciência para ouvir/lidar com as pessoas,

culpabilização de terceiros frente aos próprios erros, incapacidade de expressar

empatia, dentre outros.

Item A

Item B

Item C

Item D

Exaustão Emocional

(….)

Público-Alvo

Itens precisam ser construídos pensando no público-alvo

Linguagem adequada para a faixa-etária

Itens simples e diretos

Comportamentos esperados/plausíveis para a faixa-etária

O que é esperado para alunos do Ensino Médio/Adultos que não é esperado para alunos do EF?

.

ELABORAÇÃO DE ITENS

Contexto

Evite regionalismos e gírias

Pense na heterogeneidade do Brasil

A linguagem deve ser o mais próxima possível da linguagem falada.

Evitar “academiquês”, mas sem errar nas normas cultas.

.

ELABORAÇÃO DE ITENS

Diretrizes para construção de Itens

Varie a forma de início da pergunta

“Em geral…”; “Em geral….”

Devem ser escritos em uma única frase

Ex: Eu gosto de festas  Construção direta e objetiva

Evitar duas frases:

“Não gosto de falar em público, porque sinto que as pessoas vão tirar sarro de mim”

Evitar duas negações

“Não costumo fazer coisas que não considero certas” → “Faço coisas erradas com frequência”

.

ELABORAÇÃO DE ITENS

Diretrizes para construção de Itens

Evite construir itens pensando nos antecedentes e nos consequentes do construto

• e.g.: Sentido de vida advém da busca e concretização de metas significativas.
• Escala de sentido de vida não** ****de****v****e**** ****te****r**** ****i****te****m**: “Até o momento, estou satisfeito com o que consegui alcançar na minha vida”

Evite construir itens que tangenciem mais de um construto

• Ex: Sinto que sou muito feliz com a minha vida. ELABORAÇÃO DE ITENS

Continuum

Para cada uma das facetas, a escala precisa ter itens fáceis e itens difíceis.

Itens fáceis referem-se a itens que boa parte das pessoas conseguem responder a categoria mais alta (Concordo totalmente)

Itens difíceis referem-se a itens que poucas pessoas conseguem responder a categoria mais alta (Concordo totalmente)

Se a escala for muito fácil, todo mundo vai atingir o teto (responder tudo alto)

Inviabiliza mensuração de avanços, devido à intervenção;

Impossibilita a separação de pessoas com diferentes níveis no traço medido.

.

ELABORAÇÃO DE ITENS

Emparelhamento (Theta vs. Dificuldade)

Cuidado:

Ao ter itens variando em dificuldade, tenha amostra variando em nível de traço latente

.

Dificuldade do item

Theta da amostra

Efeito chão

ELABORAÇÃO DE ITENS

Emparelhamento (Theta vs. Dificuldade)

Cuidado:

Ao ter itens variando em dificuldade, tenha amostra variando em nível de traço latente

.

Dificuldade do item

Theta da amostra

Efeito teto

ELABORAÇÃO DE ITENS

Emparelhamento (Theta vs. Dificuldade)

Cuidado:

Ao ter itens variando em dificuldade, tenha amostra variando em nível de traço latente

.

Dificuldade do item

Theta da amostra

ELABORAÇÃO DE ITENS

Continuum

.

ELABORAÇÃO DE ITENS

Ampliando a dificuldade do item de forma intencional

Os itens podem ser ‘repetidos’, apenas mudando a sua intensidade:

Exemplo** de iniciativa social**

Tenho vergonha de falar em público

Odeio falar em público

Falar em público é uma tortura para mim

O contexto do item pode ser alterado:

Tenho vergonha de falar em público

Interagir com pessoas é o que mais gosto de fazer

.

ELABORAÇÃO DE ITENS

Ampliando a dificuldade do item de forma intencional

Cuidado:

Se a sua escala likert é do tipo de frequência (Nunca a Sempre), evite colocar frequência na pergunta:

.

ELABORAÇÃO DE ITENS

Número de itens

• Construa muito mais itens do que o que você pretende usar. Haverá exclusão em várias etapas:
  • Juízes Experts
  • População-alvo
  • Empírica (Análise Fatorial / TRI)
• Subdivida claramente esses itens em ‘fatores’ teoricamente esperados
• O grande desafio da construção da medida é não mensurar construtos relacionados, ao invés de mensurar o construto-alvo. ELABORAÇÃO DE ITENS

AVALIAÇÃO POR JUÍZES

AVALIAÇÃO POR JUÍZES

Após os itens serem construídos, deverão ser submetidos para avaliação de juízes (experts)

Entre 3 e 5 juízes (Pacico, 2018; Cassepp-Borges et al., 2012)

• Qualidade dos juízes
• O que farão os juízes?
  • Avaliarão a clareza dos itens, relevância prática, a pertinência teórica, a abrangência, etc. (Hernandez-Nieto, 2000)
• O que você fará com essas informações?
  • Concordância entre os juízes

Ficha de avaliação

.

AVALIAÇÃO POR JUÍZES

AVALIAÇÃO PELO PÚBLICO-ALVO

Público-alvo

• Verificar se as sentenças, as instruções e a escala de resposta são compreensíveis para o público alvo.
• As instruções são claras?
• Os termos presentes nos itens estão adequados?
• As expressões correspondem àquelas utilizadas pelo grupo?
• Os sujeitos a participarem desta etapa podem variar de acordo com as características dos respondentes a que o instrumento se destina.
  • Escolaridade, regiões do país, etc.

Tamanho da amostra para avaliação do público-alvo

• Critério de Saturação (Glasser & Strauss, 1967, 2009).
  • +- 30 sempre me foi suficiente
• Ficha de avaliação AVALIAÇÃO PELO PÚBLICO-ALVO

EVIDÊNCIAS DE VALIDADE

Estudo de validade de conteúdo.

Passar para outras evidências de validade (Módulo específico).

.

ANÁLISES DE CONCORDÂNCIA

VALIDADE DE CONTEÚDO

ANÁLISE DE CONCORDÂNCIA

O que é

Concordância é o grau em que dois avaliadores, instrumentos, etc., dão o mesmo valor quando aplicados ao mesmo objeto.

Na Psicometria, a técnica é muito aplicada para atestar validade de conteúdo de medidas

• Clareza, pertinência, relevância do item
• Importante para não haver viés de um único investigador

Diferentes tipos

ANÁLISE DE CONCORDÂNCIA

ANÁLISE DE CONCORDÂNCIA

Diferentes tipos

ÍNDICE DE VALIDADE DE CONTEÚDO

Proporção ou porcentagem de juízes em concordância sobre a relevante teórica do item (Pollit & Beck, 2006)

Escala de Likert com pontuação de 1 a 4

• 1 = item não relevante;
• 2 = item necessita de grande revisão para se tornar relevante;
• 3 = item relevante, mas necessita de pequenas alterações;
• 4 = item absolutamente relevante.

Os itens que receberem pontuação de 1 ou 2 devem ser revisados ou eliminados

• Soma as respostas 3 e 4 dos participantes do comitê de especialistas e divide o resultado dessa soma pelo número total de respostas

IVC = No de respostas 3 ou 4

No total de respostas

O índice de concordância aceitável entre os membros do comitê de especialistas deve ser de no mínimo 0,80 e, preferencialmente, maior que 0,90 (Polit & Beck, 2006).

ÍNDICE DE VALIDADE DECONTEÚDO

RAZÃO DE VALIDADE DE CONTEÚDO

Razão de validade de conteúdo (RVC)

Desenvolvido por Lawshe (1975), o RVC é uma técnica amplamente utilizada

Juízes avaliam a relevância** **do item em 3 categorias:

• Desnecessário
• Útil, mas não essencial
• Essencial Permanece no teste os itens que tenham alto grau de concordância na categoria ‘Essencial’

RVC = (n - N/2) ,

e

(N/2)

*ne = número de avaliadores que julgou como **essencial*

onde:

N = número de juízes

Pontos de corte (Ayre & Scally, 2014)

RVC = (n - N/2) ,

e

(N/2)

*ne = número de avaliadores que julgou como **essencial*

onde:

N = número de juízes

Valores variam de -1 (Discordância total) a +1 (Concordância total)

Critério rigoroso

Leva em consideração valores estatisticamente diferentes do

acaso (p < 0,05).

Para tabelas maiores que 10 juízes, consultar artigo (Ayre & Scally, 2014)

RAZÃO DE VALIDADE DE CONTEÚDO

COEFICIENTE DE VALIDADE DE CONTEÚDO

CVC desenvolvido por Hernandez-Nieto (2002), avalia:

• Clareza da Linguagem: O quão compreensível é o item.
• Pertinência Prática: Se é relevante para o instrumento
• Relevância Teórica: Se representa o construto/comportamento que quer medir
• Dimensão teórica: Qual fator o item faz parte (Eu não valido!) Instrumento** ****com****o**** ****u****m**** ****tod****o**** ****(****CV****C****t****)**

(Exaustão Emocional) | Fator 2 (Despersonalização) | Fator 3 (Baixa realização no Trabalho) | | — | — | — | — | | Item A | | | | | Item B | | | |

Avaliação dos juízes:

Pontuam os itens de 1 a 5

• Nada claro-totalmente claro
• Nada pertinente-totalmente pertinente
• Nada relevante-totalmente relevante
• Computa-se a média para cada indicador (clareza, pertinência, relevância e dimensão)
• Soma da pontuação, dividido pelo número de juízes
  • 14 / 3 = 4,66 COEFICIENTE DE VALIDADE DE CONTEÚDO

Cálculo do CVC

CVC = Média / Maior escore possível

• CVC = 4,66 / 5 = 0,932
• CVCc = CVC - Viés
  • Onde, viés = (1/número de juízes)número de juízes
  • 4 juízes → viés = (1/4)4 = 0,254 = 0,039
• CVCc = 0,9281
• Ponto de corte: 0,80 COEFICIENTE DE VALIDADE DE CONTEÚDO

Clareza | CVCc - Pertinência | CVCc - Relevância | | — | — | — | — | | Item 1 | 0,925 | 0,923 | 0,971 | | Item 2 | 0,955 | 0,933 | 0,895 | | Item k | … | … | … | | CVCt | Média | Média | Média |

ESTUDO-PILOTO

Estudo-piloto qualitativo (avaliação da população-alvo)

Estudo piloto quantitativo?

• Análise de dados com N baixo é problemático
• Se acontecer um problema, o problema está na medida ou no N?

REFERÊNCIAS

Almanasreh, E., Moles, R., & Chen, T. F. (2018). *Evaluation of methods used for estimating content validity. Research in Social and Administrative Pharmacy.** *doi:10.1016/j.sapharm.2018.03.066

Ayre, C., & Scally, A. J. (2014). Critical Values for Lawshe’s Content Validity Ratio. Measurement and Evaluation in Counseling and Development, 47(1), 79-86. doi:10.1177/0748175613513808

Hernández-Nieto, R. A. (2002). Contributions to statistical analysis. Mérida: Universidad de Los Andes.

Landis, J. R, & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33(1):159-74.

Lawshe, C. H. (1975). A quantitative approach to content validity. Personnel Psychology, 28, 563-575.

Polit, D. F., & Beck, C. T. (2006). The content validity index: Are you sure you know what’s being reported? critique and recommendations. Research in Nursing & Health, 29(5), 489-497. doi:10.1002/nur.20147

Rubio DM, Berg-Weger M, Tebb SS, Lee S, Rauch S. Objectifying content validity: conducting a content validity study in social work research. Soc Work Res 2003; 27(2):94-105.

Wilson, F. R., Pan, W., & Schumsky, D. A. (2012). *Recalculation of the Critical Values for Lawshe’s Content Validity Ratio. Measurement and Evaluation in Counseling and Development, 45(3), 197-210.** *doi:10.1177/0748175612440286